A mudança fundamental no paradigma bayesiano reside no estatuto ontológico do parâmetro desconhecido $\theta$. Ao contrário da estatística frequentista, que trata $\theta$ como uma constante fixa mas desconhecida, a abordagem bayesiana considera $\theta$ como uma variável aleatória. Isso nos permite quantificar a incerteza por meio de uma medida de probabilidade anterior $\Pi$.
Construção do Modelo Bayesiano
Um modelo bayesiano completo é definido pelo par $(\{f_{\theta} : \theta \in \Omega\}, \Pi)$. A inferência bayesiana não é meramente "usar o Teorema de Bayes", mas a ação deliberada de adicionar uma distribuição de probabilidade anterior ao modelo de amostragem como um ingrediente essencial para a inferência.
O estado total do nosso conhecimento é capturado pela distribuição conjunta $\pi(\theta) f_{\theta}(s)$. Essa função conecta os dados observados $s$ e o parâmetro não observado $\theta$ em um único framework probabilístico coerente.
Afirmações Diretas de Probabilidade
Neste paradigma, $\theta$ é governado por uma densidade de probabilidade $\pi(\theta)$. Isso nos permite fazer afirmações diretas de probabilidade sobre o parâmetro, como $P(\theta \in A)$. Isso é logicamente impossível em um framework frequentista, onde $\theta$ não possui uma distribuição e, portanto, tais afirmações são indefinidas.
Analogia do Mundo Real: Diagnóstico Médico
No diagnóstico de uma doença rara, a "constante" é se um paciente tem a doença. No paradigma bayesiano, tratamos o estado da doença $(\theta)$ como uma variável aleatória. Se a prevalência for de 0,1% (a priori), e um teste (o modelo $f_{\theta}$) retornar positivo, não olhamos apenas pela precisão do teste; olhamos para a probabilidade conjunta de ter a doença E testar positivo para determinar a nova probabilidade de doença.